Агрегирование данных
Агрегирование данных — это сбор информации из баз данных с целью подготовки комбинированных наборов данных для обработки данных.[1]
Описание
Геологическая служба США объясняет, что «когда данные хорошо задокументированы, известно, как и где искать информацию, и получаемые результаты будут совпадать с ожидаемыми».[2] Источниками информации для агрегирования данных могут быть общедоступные записи и криминальные базы данных. Информация представляется в виде сводных отчётов, а затем продаётся предприятиям, а также местным, областным и правительственным учреждениям. Эта информация также может использоваться в маркетинговых целях. В Соединённых Штатах деятельность многих брокеров данных подпадает под действие Закона о достоверной кредитной отчётности (FCRA), который регулирует деятельность агентств по предоставлению отчётности потребителям. Затем агентства собирают и оформляют личную информацию в потребительские отчёты, которые продаются кредиторам, работодателям, страховым компаниям и другим предприятиям. Finicity, компания Mastercard, является одним из основных агрегаторов, которые соблюдают FCRA, в то время как большинство других агрегаторов данных предпочли не соблюдать этот закон о защите прав потребителей.[3]
Различные информационные отчёты предоставляются агрегаторами баз данных. Физические лица могут запрашивать собственные потребительские отчёты, которые содержат основную биографическую информацию, такую как имя, дата рождения, текущий адрес и номер телефона. Квалифицированные и имеющие на это право третьи лица могут запрашивать отчёты о проверке биографических данных сотрудников, которые содержат очень подробную информацию, такую как прошлые адреса и продолжительность проживания, профессиональные лицензии и криминальное прошлое. Помимо проверки биографических данных сотрудников, эти данные могут быть использованы для принятия решений о страховом покрытии, ценообразовании и поддержании правопорядка. Активисты за неприкосновенность частной жизни утверждают, что агрегаторы баз данных могут предоставлять ошибочную информацию.[4]
Роль Интернета
Потенциал Интернета для консолидации информации и манипулирования ею нашёл новое применение в агрегаировании данных, также известном как скрин скрапинг (извлечение и передача данных с экрана). Интернет даёт пользователям возможность консолидировать своё имя пользователя и пароль или PIN-код. Такая консолидация даёт потребителям доступ ко множеству веб-сайтов, защищённых PIN-кодом, содержащих личную информацию, путём использования одного основного PIN-кода на одном веб-сайте. Провайдеры онлайн-аккаунтов включают финансовые учреждения, биржевых маклеров, авиакомпании и программы поощрения часто летающих пассажиров, а также аккаунты электронной почты. Агрегаторы данных могут собирать данные учётных записей или другую информацию с определённых веб-сайтов, используя PIN-коды владельцев учётных записей, а затем по запросу владельца учётной записи предоставляют информацию об учётных записях пользователей на одном веб-сайте, управляемом агрегатором. Услуги агрегирования могут предлагаться отдельно или совместно с другими финансовыми услугами, такими как отслеживание портфеля и оплата счетов. Услуги предоставляются на специализированном веб-сайте или в качестве дополнительной услуги для увеличения онлайн-присутствия предприятия, созданного за пределами виртуального мира. Многие авторитетные компании, имеющие развитое присутствие в Интернете, осознают ценность предложения услуги агрегирования для улучшения других сетевых услуг и привлечения посетителей. Предложение услуги агрегирования данных веб-сайту может быть привлекательным из-за потенциального привлечения пользователей службы с веб-сайта, на котором размещён хостинг.
Агрегирование данных местных предприятий
Что касается сбора информации о местонахождении местных предприятий, существует несколько крупных агрегаторов данных, которые собирают такую информацию, как название предприятия, адрес, номер телефона, веб-сайт, описание и часы работы. Затем они проверяют эту информацию, используя различные методы валидации. Как только информация о предприятии проверена на точность, агрегаторы данных делают её доступной для таких издателей, как Google и Yelp.
Когда Yelp, например, собирается обновить свои списки, они будут извлекать данные из этих локальных агрегаторов данных. Издатели берут данные о местном бизнесе из разных источников и сравнивают их с тем, что в настоящее время имеется в их базе данных. Затем они обновляют свою базу данных той информацией, которую считают точной.
Acxiom, Infogroup, Localeze и Factual являлись четырьмя основными агрегаторами данных для поиска местных предприятий.[5] Но с января 2020 года Acxiom больше не выступает в качестве агрегатора данных. Место Acxiom среди четырёх основных агрегаторов данных на сегодняшний день занимает Foursquare.[6] В то же время Finicity, компания Mastercard, является крупнейшим игроком на рынке кредитования.[7]
Юридические последствия
Финансовые учреждения обеспокоены возможностью ответственности, вытекающей из деятельности по агрегированию данных, потенциальными проблемами безопасности, нарушением прав интеллектуальной собственности и риском уменьшения посещаемости веб-сайта учреждения. Агрегатор и финансовое учреждение могут договориться о механизме передачи данных, который будет активироваться по запросу клиента, с использованием стандарта Open Financial Exchange (OFX) для запроса и доставки информации на сайт, выбранный клиентом в качестве места, с которого он будет просматривать данные своей учётной записи. Соглашения позволяют организациям вести переговоры для защиты интересов своих клиентов и предлагают агрегаторам возможность предоставлять надёжные услуги. Агрегаторы, которые договариваются с поставщиками информации извлекать данные без использования стандарта OFX, могут достичь более низкого уровня согласованных отношений; таким образом, для получения данных учётной записи может использоваться «скрин скрапинг», но по деловым или другим причинам агрегатор может принять решение о получении предварительного согласия и согласовать условия, на которых данные клиента становятся доступными. Преимущество «скрин скрапинга» без согласия провайдера контента состоит в том, что позволяет подписчикам просматривать практически все учётные записи, которые они открыли где-либо в Интернете, через один веб-сайт.
Перспективы
Со временем передача больших объёмов данных учётной записи от провайдера учётной записи на сервер агрегатора может превратиться во всеобъемлющий профиль пользователя с подробным описанием его банковских операций и операций с кредитной картой, счетов, операций с ценными бумагами и портфелей, а также истории путешествий и предпочтений. По мере роста чувствительности к соображениям защиты данных, вероятно, значительное внимание будет уделяться тому, в какой степени агрегаторы данных могут стремиться использовать эти данные либо для собственного использования, либо для передачи их третьим сторонам и оператору (операторам) веб-сайта, на котором предлагается услуга.[8]
Ссылки
- ↑ Stanley, Jay (January 2003). «Bigger Monster, Weaker Chains: The Growth of an American Surveillance Society» (American Civil Liberties Union).
- ↑ Why Does Data Need to be Managed? (англ.). USGS (11 июня 2022). Дата обращения: 11 июня 2022.
- ↑ Federal Fair Credit Reporting Act.
- ↑ Pierce, Deborah; Ackerman, Linda Data Aggregators: A Study of Data Quality and Responsiveness. Privacyactivism.org (19 мая 2005). Дата обращения: 2 апреля 2007. Архивировано 19 марта 2007 года.
- ↑ Yuzdepski. Improve Your Local Search Ranking With Data Aggregators. Vendasta (16 июня 2016). Архивировано 25 ноября 2017 года.
- ↑ Chessall. Listing Distribution: Foursquare as a New Data Aggregator (22 января 2020). Архивировано 25 апреля 2020 года.
- ↑ Better Data, Better Decisions (англ.). Finicity. Дата обращения: 24 июля 2022.
- ↑ Ledig, Robert H.; Vartanian, Thomas P. (2002-09-11). «Scrape It, Scrub It and Show It: The Battle Over Data Aggregation».